Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

对比性语言图像预训练（剪辑）已被证明可以学习具有出色传递性的视觉表示，从而实现了零击分类的有希望的准确性。为了进一步提高其下游性能，现有作品在剪辑上提出了其他可学习的模块，并通过几次训练集对其进行微调。但是，由此产生的额外培训成本和数据要求严重阻碍了模型部署和知识转移的效率。在本文中，我们引入了一种自由午餐的增强方法CALIP，以通过无参数注意模块来提高Clip的零拍摄性能。具体而言，我们指导视觉和文本表示相互交互，并通过注意探索跨模式的信息特征。由于预训练大大降低了两种方式之间的嵌入距离，因此我们在注意力中丢弃所有可学习的参数，并在双向更新多模式特征，从而使整个过程无参数且无培训。通过这种方式，图像与文本感知信号混合在一起，文本表示形式被视觉引导以获得更好的自适应零射击对齐。我们在14个数据集的各种基准上评估CALIP，用于2D图像和3D Point Cloud几乎没有分类，显示出一致的零弹性性能改进了夹子。基于此，我们进一步在Calip的注意模块中插入了少量线性层，并在少量射击设置下验证我们的鲁棒性，与现有方法相比，这也可以实现领先的性能。这些广泛的实验证明了我们的方法在有效增强夹子方面的优势。

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

找到密集的语义对应是计算机视觉中的一个基本问题，由于背景混乱，极端的阶层变化以及严重缺乏地面真理，在复杂的场景中仍然具有挑战性。在本文中，我们旨在通过丰富稀疏关键点注释中的监督信号来解决语义通信中标签稀疏性的挑战。为此，我们首先提出了一个教师学习范式，以产生著名的伪标签，然后制定两种新颖的伪造伪造策略。特别是，我们在稀疏注释周围使用空间先验来抑制嘈杂的伪标记。此外，我们还引入了损失驱动的动态标签选择策略，用于标签denoisising。我们通过两种学习策略的变体实例化范式：一个离线教师设置和共同的在线教师设置。我们的方法在三个具有挑战性的基准标准方面取得了显着的改进，并建立了新的最新技术。项目页面：https：//shuaiyihuang.github.io/publications/scorrsan。

多模式的医学图像完成已广泛应用，以减轻许多多模式诊断任务中缺失的模式问题。但是，对于大多数现有的合成方法，它们缺失模式的推断可能会崩溃为确定性映射，从而忽略了跨模式关系中固有的不确定性。在这里，我们提出了统一的多模式条件分数的生成模型（UMM-CSGM），以利用基于得分的生成模型（SGM）在建模和随机采样目标概率分布中，并进一步将SGM扩展到交叉模式统一框架中各种缺失模式配置的条件合成。具体而言，UMM-CSGM采用一种新型的多中心条件分数网络（MM-CSN），通过在完整的模态空间中的条件扩散和反向产生来学习一组综合的跨模式条件分布。通过这种方式，可以通过所有可用信息来准确地制定生成过程，并可以符合单个网络中缺少模式的所有可能配置。 BRATS19数据集的实验表明，UMM-CSGM可以更可靠地合成肿瘤诱导的任何缺失方式的肿瘤诱导病变中的异质增强和不规则面积。

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

实时投标（RTB）是现代在线广告系统中的重要机制。广告商在RTB中采用投标策略来优化其广告效果，但根据各种财务要求，其中广泛采用的是投资回报（ROI）约束。在顺序招标过程中，ROI在非单调的情况下变化，通常在约束满意度和客观优化之间具有透视作用。通常在静态或轻微变化的市场中建立了约束 - 目标权衡解决方案。但是，由于无法适应不同的动态和部分可观察性，这些方法在非平稳广告市场中大大失败。在这项工作中，我们专门研究非机构市场的ROI限制招标。基于部分可观察到的马尔可夫决策过程，我们提出了第一个容纳非单调约束的硬屏障解决方案。我们的方法利用了无参数指标的奖励功能，并开发了课程指导的贝叶斯强化学习（CBRL）框架，以适应在非平稳广告市场中的约束目标权衡。在具有两个问题设置的大规模工业数据集上进行的广泛实验表明，CBRL在分布和分发数据制度方面都很好地概括了，并且具有出色的稳定性。

本文解决了几秒钟学习问题，旨在从几个例子中学习新的视觉概念。在几次拍摄分类中的常见问题设置假设在获取数据标签中的随机采样策略，其在实际应用中效率低下。在这项工作中，我们介绍了一个新的预算感知几秒钟学习问题，不仅旨在学习新的对象类别，还需要选择信息实例来注释以实现数据效率。我们为我们的预算感知几秒钟学习任务开发了一个元学习策略，该任务共同了解基于图形卷积网络（GCN）和基于示例的少量拍摄分类器的新型数据选择策略。我们的选择策略通过图形消息传递计算每个未标记数据的上下文敏感表示，然后用于预测顺序选择的信息性分数。我们在迷你想象网，分层 - 想象项目和omniglot数据集上进行广泛的实验验证我们的方法。结果表明，我们的几次学习策略优于一个相当大的边缘，这表明了我们的方法的功效。

场景图生成（SGG）由于其复杂的成分特性，仍然是一个具有挑战性的视觉理解任务。大多数以前的作品采用自下而上的两阶段或基于点的单阶段方法，通常遭受开销时间复杂性或次优设计假设。在这项工作中，我们提出了一种新颖的SGG方法来解决上述问题，其将任务制定为双层图形施工问题。为了解决问题，我们开发一个基于变换器的端到端框架，首先生成实体和谓词提议集，然后推断定向边缘以形成关系三态。特别地，我们基于结构谓词发生器开发新的实体感知谓词表示，以利用关系的组成特性。此外，我们设计了一个曲线图组装模块，以推断基于我们的实体感知结构的二分明场景图的连接，使我们能够以端到端的方式生成场景图。广泛的实验结果表明，我们的设计能够在两个具有挑战性的基准上实现最先进的或可比性的性能，超越大多数现有方法，并享受更高的推理效率。我们希望我们的模型可以作为基于变压器的场景图生成的强大基线。

自我监督的视觉和语言预处理（VLP）旨在从大规模的图像文本数据中学习可转移的多模式表示形式，并在填充后在广泛的视觉范围内实现强大的表现。以前的主流VLP方法通常采用依靠外部对象检测器来编码多模式变压器框架中的图像的两步策略，该框架遭受了限制性对象概念空间，有限的图像上下文和效率低下的计算。在本文中，我们提出了一个对象感知的端到端VLP框架，该框架将来自CNN的图像网格特征直接馈送到变压器中，并共同学习多模式表示。更重要的是，我们建议执行对象知识蒸馏，以促进在不同语义级别的学习跨模式对齐。为了实现这一目标，我们通过将对象特征及其来自外部检测器的语义标签作为监督来设计两个新颖的借口任务：1。）对象引导的蒙版视觉建模任务的重点是在多模式变压器中强制执行对象感知的表示的学习； 2.）短语区域对准任务旨在通过利用语言空间中名词短语和对象标签之间的相似性来改善跨模式对齐。对各种视觉语言任务进行的广泛实验证明了我们提出的框架的功效，并且我们在现有的预科策略中实现了竞争性或优越的表现。